/* jshint esversion: 6 */

const axios = require('axios');
const cheerio = require('cheerio');

// 要爬取的 URL
const url = 'https://www.baidu.com/s?wd=%E6%80%BB%E4%B9%A6%E8%AE%B0%E8%BF%99%E6%A0%B7%E8%B0%88%E5%85%A8%E9%9D%A2%E4%BE%9D%E6%B3%95%E6%B2%BB%E5%9B%BD&sa=fyb_n_homepage&rsv_dl=fyb_n_homepage&from=super&cl=3&tn=baidutop10&fr=top1000&rsv_idx=2&hisfilter=1';

// 设置请求头
const headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.125 Safari/537.36',
  'Accept-Language': 'zh-CN,zh;q=0.9',
  'Referer': 'https://www.google.com/',
};

// 发送 HTTP 请求并获取 HTML 内容
axios.get(url, { headers })
  .then((response) => {
    // 将 HTML 内容加载到 Cheerio 对象中
    const $ = cheerio.load(response.data);

    // 提取标题
    const title = $('title').text();

    // 提取所有链接
    const links = $('a').map((i, element) => {
      return $(element).attr('href');
    }).get();

    // 打印结果
    console.log('标题：', title);
    console.log('链接：', links);
  })
  .catch((error) => {
    console.error('错误：', error);
  });

